#visual grounding

4 篇

What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems

视觉对齐的图像编辑跟随建议：三阶段学习框架

🧭 多模态 query 推荐 · RL 对齐 ★ 深度解读

Alibaba Qwen Business Unit · Southeast University

三阶段框架结合人工意图、点击偏好与源-目标视觉验证，将视觉不一致率从3.7%降至0.9%，在线CTR提升32.70%

📌 工作参考价值（4 点）

位置感知点击偏好对：利用点击建议仅与上方未点击建议配对，减少展示位置偏差，适合任何有曝光顺序的推荐场景（如电商搜索推荐）。
多目标GRPO优化：组合点击偏好、格式有效性、PPL、内容感知长度、列表内多样性五维奖励，使用动态文本侧权重调整长度与多样性压力，可迁移至生成式推荐列表的强化对齐。
图像优先源-目标验证：将编辑指令拆解为所需源（必须存在）与目标（不应已满足），分步检查视觉条件，可作为多模态Agent的动作校验器，避免幻觉推荐。
SFT数据构建流水线：从真实会话与人工意图表中用大模型生成候选，再经多级验证形成监督信号，解决了缺乏推荐标签时的冷启动问题。

QueryRec | 2026-08-02 | HF Daily | score 8/10

MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents

MM-ToolSandBox：面向视觉工具调用 Agent 的统一评估框架

🧭 视觉工具调用 · Agent 评估 ★ 深度解读

Apple

提出首个多图像、多轮、状态化视觉工具调用基准，揭示视觉精度是前沿模型的主要瓶颈

📌 工作参考价值（4 点）

多模态 Agent 在电商场景的潜在应用：商品图片识别、广告素材分析、用户截图诊断等任务可借鉴该框架的视觉工具调用模式，但当前模型在图像信息抽取精度上不足（53% 的失败源于误读图像），在落地前需要增加视觉校验或人工兜底。
评估方法论可直接复用：框架采用“状态差分 + LLM 裁判”双轨评估，实体 F1 衡量结果一致性，裁判器评估任务完成与信息准确度，尤其适合带数据库的后台操作（如订单、购物车、日程）的 Agent 评测。
多图像工作记忆是瓶颈：发现“前期一次性给出所有图片”的场景比逐步给图难 20%，说明长期上下文中的视觉引用是弱点。在构建电商导购 Agent 时，可将图片分批发送，降低记忆负担，或引入外部缓存/索引来保存图片信息。
执行接口选择依模型而异：代码执行和结构化工具调用没有统一更优方案，应根据所用模型分别测试。小米（4B-27B）模型在代码执行上比工具调用好 6-8 个点，而 KIMI 2.6 在工具调用上反而更强，工程上可提供双模式并 A/B 选型。

Agent | 2026-07-13 | cs.AI | score 8/10

visual tool-calling multimodal agent benchmark tool use visual grounding

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

先观察后推理：解耦感知与推理的抗捷径多模态在线自蒸馏

🧭 解耦感知与推理防止文本捷径

State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences

提出 ViGOS，通过先视觉描述后推理并解耦感知与推理教师，防止多模态自蒸馏中基于文本的捷径，提升视觉 grounding。

📌 工作参考价值（4 点）

多模态模型训练防捷径：在电商商品理解任务中（如从图文预测属性），可借鉴先描述后推理的生成格式，并用纯图像教师监督描述部分，迫使模型依赖视觉而非文本偏差，提升跨模态对齐。
在线自蒸馏的应用：在推荐或多模态 agent 的循环训练里，可引入冻结副本提供稠密 token 级监督，替代稀疏奖励，以缓解学生模型生成与训练分布偏差。
错误恢复机制：对无效 rollout 使用参考教师恢复格式，可迁移到 agent 的自我校正或序列生成任务中，保证输出结构规整。
视觉推理任务增强：若业务涉及空间 grounding 或图文推理（如图片 QA、导航 agent），可将视觉描述前置，并结合专用感知教师，提升对图像的忠实度。

Multimodal | 2026-06-16 | HF Daily | score 6/10

on-policy self-distillation multimodal LLM visual grounding shortcut mitigation perception-reasoning decoupling

ViDR: Grounding Multimodal Deep Research Reports in Source Visual Evidence

ViDR：将多模态深度研究报告锚定于源视觉证据

🧭 多模态深度研究报告的视觉证据定位与验证

Peking University · National Key Laboratory of Data Space Technology and System · Beijing Jiaotong University · Hunan University

提出将源图像作为可检索、可解释、可验证的证据对象，结合证据索引提纲和视觉验证，提升多模态深度研究报告的可靠性和可验证性

📌 工作参考价值（4 点）

多模态证据的可信报告生成：在电商商品评测或行业分析报告的自动生成中，可将商品图片、图表视为可验证的源证据，通过类似“证据索引提纲”的方式将每个结论关联到具体视觉证据，提升生成内容的说服力。
噪声图像的精炼流水线：论文提出的“上下文感知过滤 + 提纲感知重排序 + VLM 视觉分析”流程，可直接用于从混乱的网页抓取商品图片中提取高质量、相关的证据原子，避免无关或低质量图片干扰报告。
视觉引用的显式验证：在生成报告中验证引用图像的准确性和位置合理性，减少“幻觉”或错配，这一思路可移植到多模态 RAG 系统，增强答案的可信度。
多模态报告质量的量化评估：MMR Bench+ 将源图检索、放置、解释、可验证性等纳入评测维度，可为电商多模态内容生成系统提供更全面的离线评估方案，指导优化方向。

Multimodal | 2026-05-13 | cs.IR | score 7/10

multimodal deep research source visual evidence report generation VLM visual grounding evidence verification